Several works have proven that finetuning is an applicable approach for debiasing contextualized word embeddings. Similarly, discrete prompts with semantic meanings have shown to be effective in debiasing tasks. With unfixed mathematical representation at the token level, continuous prompts usually surpass discrete ones at providing a pre-trained language model (PLM) with additional task-specific information. Despite this, relatively few efforts have been made to debias PLMs by prompt tuning with continuous prompts compared to its discrete counterpart. Furthermore, for most debiasing methods that alter a PLM's original parameters, a major problem is the need to not only decrease the bias in the PLM but also to ensure that the PLM does not lose its representation ability. Finetuning methods typically have a hard time maintaining this balance, as they tend to violently remove meanings of attribute words. In this paper, we propose ADEPT, a method to debias PLMs using prompt tuning while maintaining the delicate balance between removing biases and ensuring representation ability. To achieve this, we propose a new training criterion inspired by manifold learning and equip it with an explicit debiasing term to optimize prompt tuning. In addition, we conduct several experiments with regard to the reliability, quality, and quantity of a previously proposed attribute training corpus in order to obtain a clearer prototype of a certain attribute, which indicates the attribute's position and relative distances to other words on the manifold. We evaluate ADEPT on several widely acknowledged debiasing benchmarks and downstream tasks, and find that it achieves competitive results while maintaining (and in some cases even improving) the PLM's representation ability. We further visualize words' correlation before and after debiasing a PLM, and give some possible explanations for the visible effects.

Contemporary methods have shown promising results on cardiac image segmentation, but merely in static learning, i.e., optimizing the network once for all, ignoring potential needs for model updating. In real-world scenarios, new data continues to be gathered from multiple institutions over time and new demands keep growing to pursue more satisfying performance. The desired model should incrementally learn from each incoming dataset and progressively update with improved functionality as time goes by. As the datasets sequentially delivered from multiple sites are normally heterogenous with domain discrepancy, each updated model should not catastrophically forget previously learned domains while well generalizing to currently arrived domains or even unseen domains. In medical scenarios, this is particularly challenging as accessing or storing past data is commonly not allowed due to data privacy. To this end, we propose a novel domain-incremental learning framework to recover past domain inputs first and then regularly replay them during model optimization. Particularly, we first present a style-oriented replay module to enable structure-realistic and memory-efficient reproduction of past data, and then incorporate the replayed past data to jointly optimize the model with current data to alleviate catastrophic forgetting. During optimization, we additionally perform domain-sensitive feature whitening to suppress model's dependency on features that are sensitive to domain changes (e.g., domain-distinctive style features) to assist domain-invariant feature exploration and gradually improve the generalization performance of the network. We have extensively evaluated our approach with the M&Ms Dataset in single-domain and compound-domain incremental learning settings with improved performance over other comparison approaches.

在过去的十年中，AI AID毒品发现（AIDD）的计算方法和数据集策划的繁荣发展。但是，现实世界中的药物数据集经常表现出高度不平衡的分布，这在很大程度上被当前的文献忽略了，但可能会严重损害机器学习应用程序的公平性和概括。在这一观察结果的激励下，我们介绍了Imdrug，这是一个全面的基准标准，其开源python库由4个不平衡设置，11个AI-Ready数据集，54个学习任务和16种为不平衡学习量身定制的基线算法。它为涵盖广泛的药物发现管道（例如分子建模，药物靶标相互作用和逆合合成）的问题和解决方案提供了可访问且可定制的测试床。我们通过新的评估指标进行广泛的实证研究，以证明现有算法在数据不平衡情况下无法解决药物和药物挑战。我们认为，Imdrug为未来的研究和发展开辟了途径，在AIDD和深度不平衡学习的交集中对现实世界中的挑战开辟了道路。

初始化时（OPAI）的一次性网络修剪是降低网络修剪成本的有效方法。最近，人们越来越相信数据在OPAI中是不必要的。但是，我们通过两种代表性的OPAI方法，即剪切和掌握的消融实验获得了相反的结论。具体而言，我们发现信息数据对于增强修剪性能至关重要。在本文中，我们提出了两种新颖的方法，即判别性的单发网络修剪（DOP）和超级缝制，以通过高级视觉判别图像贴片来修剪网络。我们的贡献如下。（1）广泛的实验表明OPAI是数据依赖性的。（2）超级缝线的性能明显优于基准图像网上的原始OPAI方法，尤其是在高度压缩的模型中。

图像介入寻求一种语义一致的方法，以根据其未掩盖的内容来恢复损坏的图像。以前的方法通常将训练有素的甘恩重复使用，然后在产生逼真的斑块中用于缺少GAN反转的孔。然而，在这些算法中对硬约束的无知可能会产生gan倒置和图像插入之间的差距。在解决这个问题的情况下，我们在本文中设计了一个新颖的GAN反转模型，用于图像插入，称为Interverfill，主要由带有预调制模块的编码器和具有F＆W+潜在空间的GAN生成器组成。在编码器中，预调制网络利用多尺度结构将更多的歧视语义编码为样式向量。为了弥合GAN倒置和图像插入之间的缝隙，提出了F＆W+潜在空间以消除巨大的颜色差异和语义不一致。为了重建忠实和逼真的图像，一个简单而有效的软上升平均潜在模块旨在捕获更多样化的内域模式，以合成大型腐败的高保真质地。在包括Ploce2，Celeba-HQ，Metfaces和Scenery在内的四个具有挑战性的数据集上进行的全面实验表明，我们的Intervill效果优于定性和定量的高级方法，并支持室外图像的完成。

手术场景细分对于促使机器人手术的认知援助至关重要。但是，以逐帧方式以像素为单位的注释视频是昂贵且耗时的。为了大大减轻标签负担，在这项工作中，我们从机器人手术视频中研究了半监督的场景细分，这实际上是必不可少的，但以前很少探索。我们考虑在等距采样下的临床上适当的注释情况。然后，我们提出了PGV-CL，这是一种新型的伪标签引导的跨视频对比学习方法，以增强场景分割。它有效地利用了未标记的数据来实现可信赖和全球模型的正则化，从而产生更具歧视性的特征表示。具体来说，对于可信赖的表示学习，我们建议合并伪标签以指导对选择，从而获得更可靠的代表对像素对比度。此外，我们将代表学习空间从以前的图像级扩展到交叉视频，该图像可以捕获全球语义以使学习过程受益。我们广泛评估了公共机器人手术数据集Edovis18和公共白内障数据集Cadis的方法。实验结果证明了我们方法的有效性，在不同的标签比下始终超过了最先进的半监督方法，甚至超过了10.1％标签的destovis18上的全面监督培训。

节点分类和图形分类是两个图形学习问题，分别预测节点的类标签和图形的类标签。图的节点通常代表现实世界实体，例如，社交网络中的用户或文档引用网络中的文档。在这项工作中，我们考虑了一个更具挑战性但实际上有用的设置，其中节点本身是图形实例。这导致了层次图的观点，该视角在许多领域（例如社交网络，生物网络和文档收集）中产生。我们在层次图中研究节点分类问题，其中“节点”是图形实例。由于标签通常受到限制，我们设计了一种新型的半监督溶液，名为Seal-CI。 Seal-CI采用了一个迭代框架，该框架需要轮流更新两个模块，一个模块在图形实例级别，另一个在层次图级别上进行。为了在不同级别的层次图之间执行一致性，我们提出了分层图共同信息（HGMI），并进一步提出了一种使用理论保证计算HGMI的方法。我们证明了该层次图建模的有效性以及在文本和社交网络数据上提出的密封CI方法。

自动手术场景细分是促进现代手术剧院认知智能的基础。以前的作品依赖于常规的聚合模块（例如扩张的卷积，卷积LSTM），仅利用局部环境。在本文中，我们提出了一个新颖的框架STSWINCL，该框架通过逐步捕获全球环境来探讨互补的视频内和访问间关系以提高细分性能。我们首先开发了层次结构变压器，以捕获视频内关系，其中包括来自邻居像素和以前的帧的富裕空间和时间提示。提出了一个联合时空窗口移动方案，以有效地将这两个线索聚集到每个像素嵌入中。然后，我们通过像素到像素对比度学习探索视频间的关系，该学习很好地结构了整体嵌入空间。开发了一个多源对比度训练目标，可以将视频中的像素嵌入和基础指导分组，这对于学习整个数据的全球属性至关重要。我们在两个公共外科视频基准测试中广泛验证了我们的方法，包括Endovis18 Challenge和Cadis数据集。实验结果证明了我们的方法的有希望的性能，这始终超过了先前的最新方法。代码可在https://github.com/yuemingjin/stswincl上找到。

尽管达到了最新的零击性能，但现有的视觉语言模型仍然缺乏针对域特异性问题的几乎没有传输能力。经典的微调通常无法阻止高度表达模型利用虚假相关性。尽管模型不足的元学习（MAML）作为几次转移学习的天然替代方案，但由于隐式二阶优化而引起的昂贵计算限制了其在大规模视觉语言模型（例如剪辑）上的使用。尽管许多文献都致力于探索替代优化策略，但我们确定了有效的几次转移学习，任务抽样的另一个基本方面，以前仅将其视为MAML中数据预处理的一部分。为了显示任务采样的影响，我们提出了一种简单的算法，模型不合时宜的多任务微调（MAMF），该算法仅在均匀地采样多个任务上区分了经典的微调。尽管它很简单，但我们表明，MAMF在五个几乎没有视觉语言分类任务上始终优于经典的微调。我们进一步表明，MAML中BI级优化的有效性对在几乎没有射击视觉分类的上下文中对任务的零弹性性能高度敏感。本文的目的是提供有关几乎没有成功学习工作的新见解，并鼓励更多的研究来研究更好的任务抽样策略。

图像分割是医学图像场中的重要任务，并且已经提出了许多基于卷积神经网络（CNNS）的方法，其中U-Net及其变体表现出了有希望的性能。在本文中，我们提出了基于U-Net的GP模块和GPU-Net，通过引入幽灵模块和不足的空间金字塔池（ASPP），可以了解更多样化的功能。我们的方法实现了更好的性能，参数较少的4倍以上，拖鞋的2倍，为未来的研究提供了新的潜在方向。我们的即插即用模块也可以应用于现有的分段方法，以进一步提高其性能。